CPP之编码问题(Unicode,ASCII,本地默认)

<a href="https://www.cnblogs.com/wynn518/p/8981203.html">本篇文章</a>试图回答的问题:

1、char* pStr="我aa";这句代码执行后,pStr指向的内存区域中存储的字节到底是根据什么码表而来的呢?该字符串占几个字节?

2、将一个VS2010的Windows程序设置了“使用Unicode字符集”到底意味着什么?

3、现在有一个文件,其存储内容未知(可能是文本,可能是图像,可能是视频),要求是:在文件最前面插入一串Unicode文本,插入完成后以文本程序打开该文件,插入的文本不会显示为乱码(该文件本身的内容不考虑)。——如何做到?

本人能力、精力有限,所言所感都基于自身的实践和有限的阅读、查阅,如有错误,欢迎拍砖,敬请赐教——博客园:钱智慧。

一:

用VS2010新建一个win32控制台应用程序TestChar,代码如下:

 1 #include <iostream>
 2 using namespace std;
 3 int main()
 4 {
 5     char* pStr="我aa";
 6     cout<<sizeof("我aa")<<endl;
 7     cout<<hex<<pStr[0]-0;
 8     cout<<pStr[1]-0<<endl;
 9     return 0;
10 }

打印结果如下:

6
ffffffceffffffd2

分析:存储介质(内存、外存等)上存储的都是二进制数据,而对于字符信息的存储,先查码表进行解码,再把码以二进制信息存储,即pStr指向的这段内存中存储的都是字符们的编码:一个中文字符,一个英文字母,一个全角字母。要得到”我“的编码,默认会查找本地码表,本人是中文Win7系统,查找的是GB2312码表,而对照GB2312码表可发现,"我"的编码正是ced2,与打印一致(f是符号位,可无视)。另外GB2312是不会对英文字母进行编码的,因为英文字母属于半角字符,这类编码由ASCII码表负责,GB2312中的任何字符都占用两个字节,空字符也由ASCII负责编码,这就是为何上面的字符串占用的字节数目是6。可见,上面一句代码,其实涉及到了两张码表:ASCII码表和GB2312。

二:

新建一个MFC对话框程序,名为TestUnicodeChar。默认情况下,VS2010建的项目都是基于Unicode的,即打开项目的属性,在”字符集“设置中都是”使用Unicode字符集“,这到底是什么意思呢?莫非在程序中用的中文都是以Unicode字节进行存储的?由上面的TestChar程序可以看出并非如此,pStr中的"我”是以GB2312进行存储的。又或者,源文件(h文件、cpp文件等)在磁盘上是以Unicode进行编码存储的?也不是,源文件存储默认也是以本地GB2312进行存储的。验证方式:用UE编辑器随便打开一个设置了“使用Unicode字符集”项目的某个源文件,比如打开本项目中的TestUnicodeCharDlg.cpp文件,在UE中以16进制的形式查看该文件内容,可以发现其前两个字节并非FF FE(这是Unicode文件的标识),你随便找一个中文,对照其16进制找到其编码,然后跟GB2312码表中的该中文的编码对照即可验证。这是一个GB2312码表的网页链接:

http://tool.xker.com/gb2312tbl.php

我们知道,在C++中,有char和string,为了支持Unicode字符,还有wchar_t和wstring,我们可以认为string是基于char的,而wstring是基于wchar_t的。为什么要引入Unicode呢,只用char和string难道不能保存含有中文的字符(串)吗?由TestChar程序,我们知道完全可以,并且采用的是GB2312编码,问题是你无法确定一个类似pStr的混合串的字符数目,比如:string str="我a",你调用string的length方法不能准确得到str的长度,这给编程带来了不便。所以你可以选用wstring和wchar:wstring wstr=L"我a",这时你再调用wstring的length方法就能准确得到了,其中L前缀可以使后面紧跟的字符串解释成宽字符串(Unicode)。因为Unicode对任何字符都采用2个字节进行编码,所以length的实现想必也很简单:每两个字节算一个字符,进而可以方便得到字符串的长度,这便是Unicode优于多字节编码的地方:试想,如果采用多字节编码,那么要实现基于这种编码的字符串类的length方法会非常头疼。Unicode浪费了存储空间但带来了编程上的简便。(关于这方面的详细内容可以参考《Windows程序设计 第5版》第1章)

在Windows中,有这样一些宏:_T,TEXT,TCHAR,CString,它们根据不同的设定有不同的含义。先看一下它们的使用:

在TestUnicodeCharDlg.cpp的OnPaint方法中加上如下代码:

1 TCHAR * pStr=TEXT("a我");//_T与TEXT的含义是一样的

2 CString str1=TEXT("a我");

3 CString str2=L"a我";

如果程序定义了UNICODE宏,则_T和TEXT(二者含义和用法完全一样)便会把括号内的字符串解释为UNICODE字符串,TCHAR便会替换为wchar_t,CString便会替换为CStringW,否则(即没有定义UNICODE宏),都会解释为相应的char版本。而L前缀不是宏,类似强转:不管有没有定义UNICODE宏,都把后面的字符串解释为UNICODE字符串。而设置“使用UNICODE字符集”就相当于定义UNICODE宏,即该设置仅仅是影响了一些宏的行为。若把该项目的“使用Unicode字符集”设置改为“未使用”,则编译会出错,因为此时str2就是一个CStringA实例,你不能把一个L前缀的字符串(Unicode字符串)赋值给它。

三:

第三个问题本质上就是往一个文件中写Unicode字符串的问题。涉及到编码问题的文件操作始终牢记一点:以什么编码写,就以编码读。在TestUnicodeChar程序的OnInitDialog函数中加入如下代码:

 1 BOOL CTestUnicodeCharDlg::OnInitDialog()
 2 {
 3     CDialogEx::OnInitDialog();
 4 
 5     // 将“关于...”菜单项添加到系统菜单中。
 6 
 7     // IDM_ABOUTBOX 必须在系统命令范围内。
 8     ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX);
 9     ASSERT(IDM_ABOUTBOX < 0xF000);
10 
11     CMenu* pSysMenu = GetSystemMenu(FALSE);
12     if (pSysMenu != NULL)
13     {
14         BOOL bNameValid;
15         CString strAboutMenu;
16         bNameValid = strAboutMenu.LoadString(IDS_ABOUTBOX);
17         ASSERT(bNameValid);
18         if (!strAboutMenu.IsEmpty())
19         {
20             pSysMenu->AppendMenu(MF_SEPARATOR);
21             pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);
22         }
23     }
24 
25     // 设置此对话框的图标。当应用程序主窗口不是对话框时,框架将自动
26     //  执行此操作
27     SetIcon(m_hIcon, TRUE);            // 设置大图标
28     SetIcon(m_hIcon, FALSE);        // 设置小图标
29 
30     // TODO: 在此添加额外的初始化代码
31     CFile myFile;
32 
33 
34     if ( myFile.Open( _T("c:\\myfile.txt"), CFile::modeCreate |   
35         CFile::modeReadWrite ) )
36     {
37 
38         CString str=TEXT("a我");
39         //myFile.Write("\xff\xfe",2);
40         myFile.Write( str, str.GetLength()*sizeof(TCHAR) ); 
41         myFile.Flush();
42     }
43     
44 
45     return TRUE;  // 除非将焦点设置到控件,否则返回 TRUE
46 }

运行程序,然后用写字板、记事本、NotePad++、UE(UEdit)分别打开mfile.txt发现,有的能正常显示,有的则乱码。要知道,你往myfile.txt写进去的是 两个字符的Unicode编码,用某文本程序去打开myfile.txt,倘若该程序默认情况下读取文本时是按Unicode来解析的,则不会乱码,否则就乱码。我们把注释的那行代码的注释拿掉,用任何支持Unicode的文本程序去打开myfile.txt就不会出错了,因为一个文本中的前两个字节FF FE便向试图打开该文本的程序表明该文本应该用Unicode进行解析(你可以用NotePad++新建几个Unicode格式的文本,随便保存几个字符,然后用UE以16进制格式查看便可知Unicode文本的前两个字节都是FF FE)。

另外,经常遇到有人问这样的问题:CString如何转换为char*?问这个问题之前,最好问下自己:我的目的是什么,为何要进行这样的转换,当前项目有没有设置Unicode。要知道,如果设置了Unicode,则CString存储的是Unicode字符串,转换为char*后,你如果直接显示这个char*或者写到文件中(没有把FF FE写到文件开始处)然后打开,则会(假如打开文件的程序默认不以Unicode进行解析)出现乱码,所以,这种情况下,转换为char*的意义不大——这不是说不能把Unicode串转为char*,这完全是可行的,本质上这只是在把一个Unicode字符串的内存内容"活生生”取出来而已。不管怎样,下面的代码重新修改了OnInitDialog函数,演示了几种情况:

 1 BOOL CTestUnicodeCharMFCDlg::OnInitDialog()
 2 {
 3     CDialogEx::OnInitDialog();
 4 
 5     // 将“关于...”菜单项添加到系统菜单中。
 6 
 7     // IDM_ABOUTBOX 必须在系统命令范围内。
 8     ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX);
 9     ASSERT(IDM_ABOUTBOX < 0xF000);
10 
11     CMenu* pSysMenu = GetSystemMenu(FALSE);
12     if (pSysMenu != NULL)
13     {
14         BOOL bNameValid;
15         CString strAboutMenu;
16         bNameValid = strAboutMenu.LoadString(IDS_ABOUTBOX);
17         ASSERT(bNameValid);
18         if (!strAboutMenu.IsEmpty())
19         {
20             pSysMenu->AppendMenu(MF_SEPARATOR);
21             pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);
22         }
23     }
24 
25     // 设置此对话框的图标。当应用程序主窗口不是对话框时,框架将自动
26     //  执行此操作
27     SetIcon(m_hIcon, TRUE);            // 设置大图标
28     SetIcon(m_hIcon, FALSE);        // 设置小图标
29 
30     // TODO: 在此添加额外的初始化代码
31     CFile myFileW,myFileA,myFileCharArrow,myFileWOrA;
32 
33 
34     if ( myFileW.Open( _T("c:\\myfileW.txt"), CFile::modeCreate |   
35         CFile::modeReadWrite )  && 
36         myFileA.Open( _T("c:\\myfileA.txt"), CFile::modeCreate |   
37         CFile::modeReadWrite ) &&
38         myFileCharArrow.Open( _T("c:\\myfileCharArrow.txt"), CFile::modeCreate |   
39         CFile::modeReadWrite ) &&
40         myFileWOrA.Open( _T("c:\\myFileWOrA.txt"), CFile::modeCreate |   
41         CFile::modeReadWrite ))
42     {
43 
44         CString strW=TEXT("a我");//因为本项目设置了Unicode字符集,所以我们知道CString会被替换为CStringW
45         
46         CStringA strA(strW);
47         
48 
49         myFileW.Write( strW, strW.GetLength()*2); 
50         myFileW.Flush();
51 
52         myFileA.Write(strA,strA.GetLength());
53         myFileA.Flush();
54         //CString的GetString返回的const类型指针,要么在右边强转,要么左边用const类型的char*去接
55         //注意指针命名:p是pointer,c是const,如果有t则是TEXT,w是wide,l是long
56         char* pstr=(char*)strA.GetString();
57         /*下面这行代码若不注掉,会报错,因为本程序是Unicode程序,
58         strW会是一个CStringW类型的字符串,它的GetString返回的是LPCWSTR类型指针
59         当然不能赋值给LPCSTR类型指针了,一个是const wchar_t*,另一个是const char*
60         */
61         //const char* pcstr1=strW.GetString();
62         
63         myFileCharArrow.Write(pstr,strlen(pstr));
64         myFileCharArrow.Flush();
65 
66         //假设我们在编程中,不知道有没有使用Unicode设置,为了通用,我们可以尽量使用宏及通用版本的相关函数(如_tcslen)
67         CString strWOrA=TEXT("a我");
68         //注意这里的TCHAR不一定就是wchar_t,这取决于程序是否设置了Unicode
69         const TCHAR* pctstr=strWOrA.GetString();//CString的GetString返回的是const指针
70         myFileWOrA.Write(ptstr,_tcslen(pctstr)*sizeof(TCHAR));
71         myFileWOrA.Flush();
72 
73     }
74     
75 
76     return TRUE;  // 除非将焦点设置到控件,否则返回 TRUE
77 }

用UE察看几个文件的内容,如图:

其中,CED2是”我“的GB2312编码,6211(注意字节高低次序)是”我“的Unicode编码,我们可知,CStringA strA(strW)这行代码,一定进行了码表间的转换。结合代码,文件内容应该不难理解。

还有些让人容易头晕的字符串指针宏,下面列举出来:

关于char*的:

LPCSTR: long pointer const string,可看成const char*,与PCSTR相似

LPSTR:可看成char*,与PSTR相似

关于wchar_t*的:

LPCWSTR,PCWSTR,LPWSTR,PWSTR

通用版本(根据是否配置了Unicode有不同的宏替换):

TCHAR*

LPTSTR,LPCTSTR (T有点类似TEXT宏的意思)

本页共180段,8019个字符,13388 Byte(字节)